Drosophila Immunity: Analysis of PGRP-SB1 Expression, Enzymatic Activity and Function

Peptidoglycan is an essential and specific component of the bacterial cell wall and therefore is an ideal recognition signature for the immune system. Peptidoglycan recognition proteins (PGRPs) are conserved from insects to mammals and able to bind PGN (non-catalytic PGRPs) and, in some cases, to efficiently degrade it (catalytic PGRPs). In Drosophila, several non-catalytic PGRPs function as selective peptidoglycan receptors upstream of the Toll and Imd pathways, the two major signalling cascades regulating the systemic production of antimicrobial peptides. Recognition PGRPs specifically activate the Toll pathway in response to Lys-type peptidoglycan found in most Gram-positive bacteria and the Imd pathway in response to DAP-type peptidoglycan encountered in Gram-positive bacilli-type bacteria and in Gram-negative bacteria. Catalytic PGRPs on the other hand can potentially reduce the level of immune activation by scavenging peptidoglycan. In accordance with this, PGRP-LB and PGRP-SC1A/B/2 have been shown to act as negative regulators of the Imd pathway. In this study, we report a biochemical and genetic analysis of PGRP-SB1, a catalytic PGRP. Our data show that PGRP-SB1 is abundantly secreted into the hemolymph following Imd pathway activation in the fat body, and exhibits an enzymatic activity towards DAP-type polymeric peptidoglycan. We have generated a PGRP-SB1/2 null mutant by homologous recombination, but its thorough phenotypic analysis did not reveal any immune function, suggesting a subtle role or redundancy of PGRP-SB1/2 with other molecules. Possible immune functions of PGRP-SB1 are discussed

Apprentissage de comportements alignés sur des valeurs morales dans un système multi-agent : guider l'apprentissage par renforcement avec des jugements symboliques

The past decades have seen tremendous progress of Artificial Intelligence techniques in many fields, reaching or even exceeding human performance in some of them. This has led to computer systems equipped with such AI techniques being deployed from the constrained and artificial environments of laboratories into our human world and society, in order to solve tasks with real and tangible impact. These systems have a more or less direct influence on humans, be it their lives in the most extreme cases, or in a more subtle but ubiquitous way, their daily lives. This raises questions about their ability to act in accordance with the moral values that are important to us.Various fields of research have addressed aspects of this problem, such as the ability to provide fair and just decisions, or the ability to be intelligible, thus providing human users with reasons to trust them, and to know when not to trust. In this thesis, we focus particularly on the area of Machine Ethics, which is concerned with producing systems that have the means to integrate ethical considerations, i.e., systems that make ethical decisions in accordance with the human values that are important to society.Our aim is thus to propose systems that are able to learn to exhibit behaviours judged as ethical by humans, both in situations of non-conflicting ethical stakes, but also in more complex cases of dilemmas between moral values. We propose 3 contributions, each with a different objective, which can be taken independently of each other, but which have been conceived and thought to work together, to combine their benefits, and to address the overall problem.Firstly, we propose a reinforcement learning algorithm, capable of learning to exhibit behaviours incorporating these ethical considerations from a reward function. The goal is to learn these ethical considerations in many situations over time. A multi-agent framework is used, which allows on the one hand to increase the richness of the environment, and on the other hand to offer a more realistic simulation, closer to our intrinsically multi-agent human society, in which these approaches are bound to be deployed. We are particularly interested in the question of how agents adapt to changes, both to environmental dynamics, such as seasonal changes, but also to variations in the ethical mores commonly accepted by society.Our second contribution focuses on the design of the reward function to guide the learning of agents. We propose to integrate judging agents, based on symbolic reasoning, tasked with judging learning agents’ actions, and determining their reward, relatively to a specific moral value. The introduction of multiple judging agents makes the existence of multiple moral values explicit. Using symbolic judgment facilitates the design by application domain experts, and improves the intelligibility of the produced rewards, providing a window into the motivations that learning agents receive.Thirdly, we focus more specifically on the question of dilemmas. We take advantage of the existence of multiple moral values and associated rewards to provide information to the learning agents, allowing them to explicitly identify those dilemma situations, when 2 (or more) moral values are in conflict and cannot be satisfied at the same time. The objective is to learn, on the one hand, to identify them, and, on the other hand, to decide how to settle them, according to the preferences of the system’s users. These preferences are contextualized, i.e., they depend both on the situation in which the dilemma takes place, and on the user. We draw on multi-objective learning techniques to propose an approach capable of recognizing these conflicts, learning to recognize dilemmas that are similar, i.e., those that can be settled in the same way, and finally learning the preferences of users.We evaluate these contributions on an application use-case that we propose, define, and implement: the allocation of energy within a smart grid.Les précédentes décennies ont vu un immense progrès des techniques d’Intelligence Artificielle, dans de nombreux domaines, allant jusqu’à atteindre, voire dépasser, les performances humaines dans certains d’entre eux. Cela a mené des systèmes informatiques équipés de telles techniques d’IA à quitter les environnements contraints et artificiels des laboratoires, pour être déployés dans notre monde et notre société humaine, afin de résoudre des tâches ayant un impact bien réel. Ces systèmes ont une influence plus ou moins directe sur des humains, que ce soit leur vie pour les cas les plus extrêmes, ou de manière plus subtile, mais plus ubiquitaire, leur quotidien. Des questions se posent ainsi quant à leur capacité d’agir en accord avec les valeurs (morales) qui nous semblent importantes.Divers champs de recherche se sont intéressés à des aspects de ce problème, tels que la capacité à fournir des décisions équitables et justes, ou encore la capacité à être intelligible, et ainsi fournir aux utilisateurs humains des raisons d’accorder leur confiance, et de savoir quand ne pas l’accorder. Dans cette thèse, nous nous concentrons particulièrement sur le domaine des Machine Ethics, qui consiste à produire des systèmes ayant les moyens d’intégrer des considérations éthiques, c’est-à-dire des systèmes ayant une prise de décision éthique, en accord avec les valeurs humaines qui sont importantes à la société.Notre but est ainsi de proposer des systèmes, qui soient capables d’apprendre à exhiber des comportements jugés comme éthiques par les humains, à la fois dans des situations ayant des enjeux éthiques non en conflit, mais aussi dans les cas plus complexes de dilemmes entre les valeurs morales. Nous proposons 3 contributions, chacune ayant un objectif différent, pouvant être prises indépendamment les unes des autres, mais ayant été conçues pour s’associer afin de combiner leurs avantages, et de répondre à la problématique globale.Premièrement, nous proposons un algorithme d’apprentissage par renforcement, capable d’apprendre à exhiber des comportements intégrant ces considérations éthiques à partir d’une fonction de récompense. Le but est ainsi d’apprendre ces enjeux éthiques dans de nombreuses situations, au fil du temps. Un cadre multi-agent est utilisé, ce qui augmente d’une part la richesse de l’environnement, et d’autre part offre une simulation plus réaliste, plus proche de notre société humaine, intrinsèquement multi-agent, et dans laquelle ces approches sont vouées à être déployées. Nous nous intéressons particulièrement à la question de l’adaptation des agents aux changements, à la fois aux dynamiques de l’environnement, tels que les changements saisonniers, mais aussi aux variations dans les mœurs éthiques couramment acceptées par la société.Notre deuxième contribution se concentre sur la conception de la fonction de récompense, afin de guider l’apprentissage. Nous proposons l’intégration d’agents juges, se basant sur du raisonnement symbolique, chargés de juger les actions des agents apprenants et déterminer leur récompense, relativement à une valeur morale spécifique. L’introduction de multiples agents juges permet de rendre explicite l’existence de multiples valeurs morales. L’utilisation de jugement symbolique facilite la conception par des experts du domaine applicatif, et permet d’améliorer l’intelligibilité des récompenses ainsi produites, ce qui offre une fenêtre sur les motivations que reçoivent les agents apprenants.Troisièmement, nous nous focalisons plus précisément sur la gestion des dilemmes. Nous profitons de l’existence de multiples valeurs morales afin de fournir plus d’informations aux agents apprenants, leur permettant ainsi d’identifier explicitement ces situations de dilemme, lorsque 2 valeurs morales (ou plus) sont en conflit et ne peuvent être satisfaites en même temps. L’objectif est d’apprendre, d’une part à les identifier, et d’autre part à les trancher, en fonction des préférences des utilisateurs et utilisatrices du système. Ces préférences sont contextualisées, elles dépendent ainsi à la fois de la situation dans laquelle se place le dilemme, et à la fois de l’utilisateur. Nous nous inspirons des techniques d’apprentissage multi-objectif afin de proposer une approche capable de reconnaître ces conflits, d’apprendre à reconnaître les dilemmes qui sont similaires, autrement dit ceux qui peuvent être tranchés de la même manière, et finalement d’apprendre les préférences des utilisateurs et utilisatrices.Nous évaluons ces contributions sur un cas d’application que nous proposons, définissons et implémentons : la répartition d’énergie au sein d’une smart grid

Adaptive reinforcement learning of multi-agent ethically-aligned behaviours: the QSOM and QDSOM algorithms

The numerous deployed Artificial Intelligence systems need to be aligned with our ethical considerations. However, such ethical considerations might change as time passes: our society is not fixed, and our social mores evolve. This makes it difficult for these AI systems; in the Machine Ethics field especially, it has remained an under-studied challenge. In this paper, we present two algorithms, named QSOM and QDSOM, which are able to adapt to changes in the environment, and especially in the reward function, which represents the ethical considerations that we want these systems to be aligned with. They associate the well-known Q-Table to (Dynamic) Self-Organizing Maps to handle the continuous and multi-dimensional state and action spaces. We evaluate them on a use-case of multi-agent energy repartition within a small Smart Grid neighborhood, and prove their ability to adapt, and their higher performance compared to baseline Reinforcement Learning algorithms

Explanation for Humans, for Machines, for Human-Machine Interactions?

International audienceThe XAI concept was launched by the DARPA in 2016 in the context of model learning from data with deep learning methods. Although the machine learning community quickly took up on the topic, other communities have also included explanation in their research agenda (e.g. Case Based Reasoning, Planning, Decision Support, Emerging Systems, Robotics, Internet of Things). The question of explanation, which is at the center of philosophical research works, has been revisited during the last decades. The humanities community insists on the fact that explanation is above all a process that develops in the context of the search for explanation and cannot be completely defined a priori. In this contribution, we propose 1) to broaden the question of explanation to any type of situation in which users exploit the possibilities of decision support agents for their own decisions, in the context of their task, and within the framework of their activities and responsibilities and 2) to consider an instrumentation of digital devices, able to manage dynamic explanation agents associated to corresponding decision support agents. We denote this evolution "UXAI" (User eXplainable Artificial Intelligence) because we consider that users should be the main actors in the dynamics of any explanation process.Le concept XAI a été lancé par la DARPA en 2016 dans le contexte de l'apprentissage de modèles à partir de données avec des méthodes d'apprentissage approfondi. Bien que la communauté de l'apprentissage machine ait rapidement abordé le sujet, d'autres communautés ont également inclus l'explication dans leur programme de recherche (par exemple, le raisonnement basé sur des cas, la planification, l'aide à la décision, les systèmes émergents, la robotique, l'Internet des objets). La question de l'explication, qui est au centre des travaux de recherche philosophique, a été revisitée au cours des dernières décennies. La communauté des sciences humaines insiste sur le fait que l'explication est avant tout un processus qui se développe dans le cadre de la recherche d'explication et ne peut être complètement définie a priori. Dans cette contribution, nous proposons 1) d'élargir la question de l'explication à tout type de situation dans laquelle les utilisateurs exploitent les possibilités des agents d'aide à la décision pour leurs propres décisions, dans le cadre de leur tâche, et dans le cadre de leurs activités et responsabilités et 2) d'envisager une instrumentation de dispositifs numériques, capable de gérer des agents d'explication dynamiques associés aux agents d'aide à la décision correspondants. Nous dénommons cette évolution "UXAI" (User eXplainable Artificial Intelligence) car nous considérons que les utilisateurs devraient être les principaux acteurs de la dynamique de tout processus d'explication

AJAR: An Argumentation-based Judging Agents Framework for Ethical Reinforcement Learning

International audienceAn increasing number of socio-technical systems embedding Artificial Intelligence (AI) technologies are deployed, and questions arise about the possible impact of such systems onto humans. We propose a hybrid multi-agent Reinforcement Learning framework consists of learning agents that learn a task-oriented behaviour defined by a set of symbolic moral judging agents to ensure they respect moral values. This framework is applied on the problem of responsible energy distribution for smart grids

Apprentissage adaptatif de comportements éthiques

National audienceThe increase in the use of Artificial Intelligence (AI) algorithms in applications impacting human users and actors has, as a direct consequence, the need for endowing these AI systems with ethical behaviors. While several approaches already exist, the question of adaptability to changes in contexts, users behaviors or preferences still remains open. We propose to tackle this question using Multi-Agent Reinforcement Learning of ethical behavior in different situations using Q-Tables and Dynamic Self-Organizing Maps to allow dynamic learning of the representation of the environment's state and reward functions to prescribe ethical behaviors. To evaluate this proposal, we developed a simulator of intelligent management of energy distribution in Smart Grids, evaluating different rewards functions to trigger ethical behaviors. Results show the ability to adapt to different conditions. Besides contributions on ethical adaptation, we compare our model to other learning approaches and show it performs better than a Deep Learning one (based on Actor-Critic).L'utilisation croissante d'algorithmes d'Intelligence Artificielle (IA) dans des applications impactant des humains requiert de doter ces systèmes d'un comportement pouvant être jugé éthique selon des valeurs humaines. Bien que plusieurs approches existent, la question de l'adaptation au contexte, aux préférences et principes éthiques des utilisateurs, reste posée. Nous proposons de traiter cette question par l'Apprentissage par Renforcement Multi-Agent de tels comportements dans des situations différentes. Nous utilisons des tables de Q-Valeurs et des Cartes Auto-Organisatrices Dynamiques pour permettre l'apprentissage adaptatif de la représentation de l'état de l'environnement, ainsi que des fonctions de récompense pour guider l'éthique du comportement. Cette proposition est évaluée sur un simulateur de répartition d'énergie dans des Smart Grids que nous avons développé. Plusieurs fonctions de récompense visant à déclencher des comportements éthiques sont évaluées. Les résultats montrent la capacité de s'adapter à différentes conditions. En sus des contributions sur le plan de l'adaptation éthique, nous comparons notre modèle à d'autres approches d'apprentissage et montrons de meilleures performances par rapport à une approche d'Apprentissage Profond basée sur le modèle Actor-Critic

A Multi-Agent Approach to Combine Reasoning and Learning for an Ethical Behavior

International audienceThe recent field of Machine Ethics is experiencing rapid growth to answer the societal need for Artificial Intelligence (AI) algorithms imbued with ethical considerations, such as benevolence toward human users and actors. Several approaches already exist for this purpose, mostly either by reasoning over a set of predefined ethical principles (Top-Down), or by learning new principles (Bottom-Up). While both methods have their own advantages and drawbacks, only few works have explored hybrid approaches, such as using symbolic rules to guide the learning process for instance, combining the advantages of each. This paper draws upon existing works to propose a novel hybrid method using symbolic judging agents to evaluate the ethics of learning agents' behaviors, and accordingly improve their ability to ethically behave in dynamic multi-agent environments. Multiple benefits ensue from this separation between judging and learning agents: agents can evolve (or be updated by human designers) separately, benefiting from co-construction processes; judging agents can act as accessible proxies for non-expert human stakeholders or regulators; and finally, multiple points of view (one per judging agent) can be adopted to judge the behavior of the same agent, which produces a richer feedback. Our proposed approach is applied to an energy distribution problem, in the context of a Smart Grid simulator, with continuous and multi-dimensional states and actions. The experiments and results show the ability of learning agents to correctly adapt their behaviors to comply with the judging agents' rules, including when rules evolve over time

Apprentissage de comportements éthiques multi-valeurs par combinaison d’agents juges symboliques et d’agents apprenants

National audienceTo answer the need to imbue Artificial Intelligence algorithms with ethical considerations, this article propose a method combining reasoning and learning, where judging agents evaluate the ethics of learning agents’ behavior. This separation offers several advantages: co-construction between agents and humans; judges more accessible for non-experts humans; richer feedback by using multiple judgments. Experiments on energy distribution inside a Smart Grid simulator show the learning agents’ ability to comply with judging agents’ rules, including when they evolve.Afin de répondre au besoin d’incorporer des considérations éthiques au sein d’algorithmes d’Intelligence Artificielle, nous proposons une nouvelle méthode hybride, combinant raisonnement et apprentissage, où des agents juges évaluent l’éthique du comportement d’agents apprenants. Cette séparation offre plusieurs avantages : co-construction entre agents et humains ; juges plus accessibles pour des humains non-experts ; récompense plus riche par l’utilisation de multiples valeurs morales. Les expérimentations sur la distribution de l’énergie dans un simulateur de Smart Grid montrent la capacité des agents apprenants à se conformer aux règles des agents juges, y compris lorsque les règles évoluent